针对公交车上乘客相互遮挡及光照变化明显的问题,提出一种基于头肩部边缘特征和局部不变特征的人体检测及跟踪算法。首先对待检测图像进行自适应阈值背景差分,实现乘客目标分割;然后用样本的梯度方向直方图(HOG)特征训练支持向量机(SVM)基础分类器,结合自适应增强(AdaBoost)算法提炼出最终的强分类器,对前景图像进行扫描实现乘客目标检测;最后提取目标区域和当前搜索区域的快速鲁棒性特征(SURF),通过特征点匹配实现乘客目标跟踪。实验表明,在乘客相互遮挡及光照变化明显的情况下,该算法仍具有高于80%的检测率和跟踪率,且满足系统实时性的要求,可用于客流计数。